В Индия алгоритъм ги обявява за мъртви; те трябва да докажат, че са живи
Тази история е създадена с подкрепата на мрежата за отчетност на AI на Pulitzer Center.
Рохтак и Ню Делхи, Индия: Дули Чанд беше на 102 години на 8 септември 2022 г., когато поведе сватбено шествие в Рохтак, областен град в северния индийски щат Харяна.
Както е обичайно в северноиндийските сватби, той седеше на колесница в сватбената си дреха, носейки гирлянди от банкноти от индийски рупии, докато оркестър свиреше празнична музика и членове на семейството и селяни го придружаваха.
Но вместо булка, Чанд беше на път да се срещне с правителствени служители.
Чанд прибягна до лудорията, за да докаже на властите, че е не само жив, но и жизнен. Плакат, който той държеше, гласеше на местния диалект: „thara foofa zinda hai“, което буквално се превежда като „чичо ти е жив“.
Преди шест месеца месечната му пенсия беше внезапно спряна, тъй като той беше обявен за „мъртъв“ в държавните архиви.
Съгласно схемата за надбавка за старост Samman на Харяна, хора на възраст 60 и повече години, чийто доход заедно с този на съпруга им не надвишава 300 000 рупии ($3600) годишно, имат право на месечна пенсия от 2750 рупии ($33) .
През юни 2020 г. щатът започна да използва новоизградена алгоритмична система – Хранилище на данни за семейна идентичност или база данни Parivar Pehchan Patra (PPP) – за определяне на допустимостта на кандидатите за социални помощи.
PPP е осемцифрен уникален идентификационен номер, предоставен на всяко семейство в щата и съдържа подробности за раждане и смърт, брак, заетост, имущество и данък върху доходите, наред с други данни, на членовете на семейството. Той картографира демографската и социално-икономическата информация на всяко семейство, като свързва няколко правителствени бази данни, за да провери дали отговарят на изискванията за социални схеми.
Държавата каза, че PPP създава „автентични, проверени и надеждни данни за всички семейства“ и прави задължителен достъпът на гражданите до всички социални схеми.
Но на практика PPP погрешно маркира Чанд като „мъртъв“, отказвайки му пенсията за няколко месеца. Още по-лошо, властите не промениха статуса му на „мъртъв“, дори когато той многократно ги срещаше лично.
„Отидохме до районните служби поне 10 пъти, от които пет пъти той [Чанд] също ни придружаваше“, каза Нареш, внукът на Чанд. „Дори след няколко опита тази аномалия да бъде коригирана в правителствените служби и след подаване на жалба в портала на главния министър, нищо не се случи.“
Едва след като Чанд извърши пародията на брачно шествие и се срещна с местен политик, властите най-накрая признаха грешката си и освободиха пенсията на Чанд.
Чанд не е изолиран случай на повреда на алгоритъма. Според данни, представени от правителството в държавното събрание през август миналата година, то е спряло пенсиите на 277 115 възрастни граждани и 52 479 вдовици за период от три години, защото са били „мъртви“.
Няколко хиляди от тези бенефициенти обаче всъщност бяха живи и бяха неправомерно обявени за мъртви или поради неправилни данни, въведени в базата данни на PPP, или поради грешни прогнози, направени от алгоритъма.
Такива аномалии не бяха ограничени само до пенсиите за старост. Бенефициентите на пенсии за инвалидност и вдовици, както и други социални схеми, като субсидирана храна, също са били изключени, тъй като алгоритъмът на ПЧП е направил грешни прогнози за техните доходи или заетост, като ги е изключил от критериите за допустимост.
Когато хора, които са били неправомерно изтрити от алгоритъма, отидоха при правителствени служители, за да коригират записите, те се сблъскаха с бюрокрация. Мнозина бяха премествани от един офис в друг и карани да подават безкрайни заявления, за да докажат очевидното – че всъщност са живи.
Изпитанието, пред което са изправени стотици хиляди граждани, за да коригират данните си, превърна ПЧП в един от най-противоречивите правителствени планове на правителството на Харяна през последните години. Опозиционната партия я нарече „Постоянен Pareshani Patra“ (постоянен документ за неудобство) и обеща, че ще отмени програмата, ако дойде на власт на следващите парламентарни избори, предвидени през 2024 г.
Държавата обаче продължава не просто да защитава, а дори да разширява програмата. София Дахия, секретар на отдела за информация за гражданските ресурси, който се занимава с функционирането на ПЧП, през септември 2022 г. каза пред Al Jazeera: „ПЧП улесняваше и подобряваше предоставянето на услуги на правилните бенефициенти и предотвратяваше изтичане чрез използване на изкуствен интелект и машинно обучение . Взаимното свързване на различни бази данни беше направено, за да се получи интегрирана база данни, която беше „единственият източник на истина“.
Индия харчи приблизително 13 процента от своя брутен вътрешен продукт, или близо 256 милиарда долара, за предоставяне на социални помощи на около половината от населението на страната. Притеснени, че подобни обезщетения се узурпират от недопустими кандидати, федералното и няколко щатски правителства разчитат все повече на технологията, за да премахнат измамите със социални помощи.
През последните няколко години най-малко половин дузина държави са приели алгоритмични системи за прогнозиране на допустимостта на гражданите за социални схеми. През изминалата година Al Jazeera, в партньорство с мрежата за отчетност за изкуствен интелект (AI) на Pulitzer Center, проучи използването и въздействието на такива алгоритми за благосъстояние.
Профилиране на семейства
Главният министър на Харяна Манохар Лал Катар стартира програмата за ПЧП през юли 2019 г. и година по-късно я направи задължителна за всички социални помощи.
При липсата на закони за поверителност, опозиционните партии оспориха хода за събиране на лични данни на граждани за изграждане на ПЧП. Правителството твърди, че позволява „проактивно“ предоставяне на социални помощи, без ищците да трябва да показват документи или да се нуждаят от проверка на място. През септември 2021 г. тя даде правна санкция на програмата, като прие Закона за паричния пехчан на Харяна.
В рамките на една година обаче започнаха да се появяват огромни проблеми с PPP данните. След като трикът на „сватбеното шествие“ на Чанд попадна в заглавията, хиляди бедни се тълпяха в районните служби на отдела за социални грижи, оплаквайки се от изключването им от схемите. Общественото недоволство принуди правителството да стартира лагери за разглеждане на оплаквания в целия щат, за да прегледа данните за ПЧП.
На 29 август 2023 г. главният министър Хатар призна, че от общо 63 353 бенефициенти, чиито пенсии за старост са спрени въз основа на данни от PPP, 44 050 (или 70 процента) по-късно е установено, че отговарят на условията. Въпреки че Khattar твърди, че правителството е коригирало повечето от погрешните записи и е възстановило ползите на неправомерно изключените, медийните доклади показват, че грешките все още продължават.
Алгоритмична черна кутия
Правителството не отговори на приложенията за право на информация (RTI) на Al Jazeera, търсещи информация за дизайна и функционирането на базата данни, за да установи какво е довело до грешките в базата данни за PPP.
Няколко публично достъпни правителствени документа обаче предоставят поглед върху работата на програмата.
За да изгради базата данни, правителството първо събра демографски данни и данни за самоличността на семействата, включително техните номера на Aadhaar, биометричния уникален идентификационен номер, присвоен на всеки индийски гражданин, доказателство за тяхната възраст, банкови сметки и данъчни идентификационни номера чрез оператори за въвеждане на данни на ниво село.
След това централизирана електронна система използва удостоверяване, базирано на Aadhaar, за да съпостави самоличностите на гражданите в други правителствени бази данни, като регистри за раждане и смърт, записи за земя и собственост, бази данни за държавни служители, потребление на електроенергия и бази данни за декларации за данък върху дохода, наред с други , за да изградят своите цялостни социално-икономически профили.
След това тези данни бяха използвани за „електронна“ проверка на годишния доход, възрастта и други условия за допустимост на кандидатите. Когато електронната проверка не беше възможна поради липса на данни, беше извършена физическа проверка на място. В случаите, когато физическата проверка не е успешна, семейният доход се извлича от „базиран на логиката изкуствен интелект [AI].“
Кабинетът на главния министър и отделите, администриращи ПЧП и пенсионните схеми за старост, не отговориха на запитванията на Ал Джазира, питащи за логиката, формулата и изходния код, използвани от AI. Нито пък изясни дали грешките в PPP са резултат от грешно въвеждане на данни или неправилни прогнози от AI. Правителството също така не е отговорило на запитването на Dhuli Chand от RTI, което иска от властите да обяснят защо PPP го е маркирало като „мъртъв“.
Катар каза на щатското събрание, че семействата могат да оспорват проверката на доходите, извършена от PPP чрез „определени онлайн механизми“.
Но дори семействата, чиито данни в крайна сметка бяха коригирани, казаха на Ал Джазира, че процесът на борба с неотзивчив официален механизъм е труден и отнема много време.
Смърт чрез данни
Рам Чандър и съпругата му Омпати, и двамата на 60 години, са жители на село Чичхрана в Харяна. През март 2022 г. двойката разбра, че пенсията им за старост, която е започнала само преди шест месеца, е била спряна, тъй като те са били обявени за мъртви в базата данни на PPP.
Рам Чандър подаде множество жалби до различни държавни служби, но без резултат. Същия май той представи на държавни служители нотариално подписана клетвена декларация, че той и съпругата му са живи и че пенсията им ще бъде възобновена.
През юли 2022 г. базата данни на PPP коригира статуса им на „Жив“, но тази грешка продължава в друга правителствена база данни. Местният оператор за въвеждане на данни прие искането им за „Маркиране като живо“ и това най-накрая беше одобрено, след като се представиха в офиса на допълнителния заместник-комисар (ADC), който ръководи прилагането на ПЧП на областно ниво. Пенсията на дуото се възобнови около шест месеца след като бяха прекратени.
„Непрекъснато посещавам офиса на ADC от март 2022 г.“, каза Чандър пред Al Jazeera през септември 2022 г. „Казаха ми, че грешката е коригирана. След това посетих местния оператор за въвеждане на данни и разбрах, че статусът ми все още е „мъртъв“, и затова отново отидох в офиса на ADC. Това продължаваше да се случва всеки път.“
Ал Джазира се срещна с няколко други семейства в Харяна, на които са отказани пенсиите поради грешки в ПЧП.
Дая Кор, на 64 години, живее със семейството си от двама сина, снаха и двама внуци. След смъртта на съпруга си Омпракаш през 1996 г. тя започва да получава месечната пенсия за вдовица от държавата. Понастоящем овдовелите жени получават 2750 рупии (33 долара) всеки месец по схемата. Но пенсията на Кор беше спряна през март 2022 г. Според записите на PPP тя и внучката й печелеха годишен доход от 600 000 рупии (7 200 долара) всяка. Нейната внучка беше само на девет години.
Семейството на Кор каза пред Ал Джазира, че единственият печелещ член в семейството е по-големият й син Девендар, на 37 години, който работел като шофьор на автобус за частно училище – печелейки около 7000 рупии ($84) на месец – и също има страна работа като фермер на непълно работно време.
„Ако семейният доход е над 12 лакха рупии, защо ще ни трябва пенсия от 2500 рупии?“ попита той.
Пенсията на Дая Кор най-накрая беше възобновена, но семейството й не може да забрави изпитанието, през което премина в процеса.
„За корекцията в PPP ми казаха в офиса на ADC да получа удостоверение за доход“, каза Девендар. „Но за да получа удостоверението за доходи, от мен се иска моят ПЧП. Не разбирам как да се справя с това.“
(Част 1 от поредицата разкри как една непрозрачна и неотчетна алгоритмична система е лишила няколко хиляди бедни от законната им субсидирана храна.)
Тапася е член на The Reporters’ Collective; Кумар Самбхав беше сътрудник на Центъра Пулицър за отчетност за 2022 г. и е ръководител на изследването в Индия в лабораторията за цифрови свидетели на Принстънския университет; и Дивидж Джоши е докторант в Юридическия факултет на Университетския колеж в Лондон.
